Trước sức mạnh của quân Pháp, các mặt trận kháng Pháp xung quanh Sài Gòn nhanh chóng tan vỡ. Ông bèn đưa đơn vị của mình về lại Tây Ninh tìm cách tổ chức lại. Nhờ có sự hỗ trợ từ các tín đồ Cao Đài, đơn vị ông được bổ sung và phát triển. Khi phái viên Nguyễn Bình vào Nam thống nhất các lực lượng vũ trang, đơn vị dưới quyền ông được đặt phiên hiệu là Chi đội 7, về danh nghĩa trực thuộc Vệ quốc đoàn nhưng trên thực tế là một lực lượng vũ trang cát cứ của giáo phái, không chịu sự điều động của Ủy ban Quân sự Nam Bộ.

Để tranh thủ thêm đồng minh trong cuộc chiến chống Việt Minh, chính quyền Pháp cho phép Hộ pháp Phạm Công Tắc trở về Tòa Thánh vào tháng 8 năm 1946. Ông đưa đơn vị thuộc quyền quy thuận dưới sự lãnh đạo của Hộ pháp Phạm Công Tắc. Hộ pháp Phạm Công Tắc cải đơn vị ông thành Cơ Thánh Vệ Tòa Thánh Tây Ninh, vẫn do ông làm Chỉ huy trưởng với cấp bậc Trung tá. Lúc này ông đã lấy lại tên cũ là Nguyễn Thành Phương.

Năm 1949, Hộ pháp Phạm Công Tắc thống nhất các đơn vị vũ trang của giáo phái Cao Đài thành Quân đội Cao Đài. Phối sư Trần Quang Vinh được chỉ định làm Tổng Tư lệnh Quân đội Cao Đài với cấp bậc Trung tướng. Năm 1951, ông được Hộ pháp Phạm Công Tắc phong cấp bậc Đại tá và chỉ định làm Tham mưu trưởng Quân đội Cao Đài thay thế tướng Nguyễn Văn Thành lên làm Tổng Tư lệnh. Anh trai ông là Nguyễn Thành Danh cũng được bổ nhiệm là Đệ nhất Trưởng phòng trong Bộ Tham mưu Quân đội Cao Đài. Lực lượng Quân đội Cao Đài bấy giờ về danh nghĩa liên minh với Quân đội Quốc gia Việt Nam chống Việt Minh nhưng trên thực tế vẫn duy trì tình trạng cát cứ ở những vùng có đông tín đồ Cao Đài.